Phạm Cự Lạng sinh ngày 20 tháng 11 năm Giáp Thìn (tức 8 tháng 12 năm 944), người làng Trà Hương, Khúc Giang (nay thuộc Nam Sách, Hải Dương), trong một gia đình có truyền thống võ nghệ. Ông nội là Phạm Lệnh Công, giữ chức Đông giáp tướng quân đời Ngô Quyền. Cha là Phạm Mạn, làm tham chính đô đốc đời Ngô Nam Tấn vương (Xương Văn), mẹ là Trần Thị Hồng. Ông bà có tám người con, 5 trai, 3 gái đều hiển đạt.

Ngay từ nhỏ Phạm Cự Lạng đã tỏ rõ tư chất thông minh, có chí lớn, văn võ đều thấu hiểu. Ông thường cùng anh cả là Phạm Hạp đem tiền của chiêu dụ mọi người, mua ngựa luyện quân.